conditional image leakage

https://gyazo.com/c52a7c91dfb2ea82be02fdd263e1b87e

> Conditional Image / DynamiCrafter / + Our Inference Strategy

https://cond-image-leak.github.io/Project

https://github.com/thu-ml/cond-image-leakagethu-ml/cond-image-leakage

https://arxiv.org/abs/2406.15735Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model

conditional image leakage (CIL)

image2videoができる拡散モデル(Stable Video Diffusion, DynamiCrafter etc.)は、入力された画像に頼りすぎてしまい、動きがほとんどないビデオができてしまう

GPT-4.icon通常、I2V生成では、ノイズの多い入力画像からビデオを作り、条件画像はそのサポート役としてディテールを補います。しかし、時間が経つとノイズの多い画像が情報を失い、条件画像のディテールだけが残ります。その結果、モデルは条件画像に頼りすぎ、ノイズの多い入力を無視するようになり、動きが少ない静止したビデオを生成してしまいます。